Self-Play Pretraining with Zero Data
零数据自博弈预训练
🧭 自博弈合成数据预训练
Independent Researcher · Tel Aviv University · Stanford University · LAPTh, USMB
自博弈零数据预训练用生成器-学习器对训，以图灵机程序生成数据，零样本损失随算力可预测缩放
📌 工作参考价值（4 点）
- 自博弈课程生成器-学习器架构可迁移到搜索/推荐中的难例挖掘：让 query 或候选生成器专门产出当前排序/召回模型易错的边界样本，替代固定人工负样本或模板，训练目标随模型能力动态调整。
- 双模型分离（生成器 RL + 学习器 CE）比单一模型自生成训练更稳定，适合生成式推荐中的 Semantic ID 或 query 改写：生成器负责探索新 token 组合，学习器只做密度估计。
- “用算力换人类知识”的思路对数据稀缺场景有参考价值：如果领域内可定义可执行的结构化生成器（如商品标题语法、用户行为序列模拟器），可先小规模验证合成数据的零样本收益是否随算力可预测。
- 注意通用图灵机搜索空间过大，直接工业落地成本高；业务上需把程序空间约束为领域特定 DSL 或模板，否则大量算力浪费在无效结构上。